![Fluentdで集めたログを監視するときに気をつけたいFluentdの設定](https://devio2023-media.developers.io/wp-content/uploads/2015/04/fluentd.png)
Fluentdで集めたログを監視するときに気をつけたいFluentdの設定
コンニチハ、千葉です。
AutoScalingに組み込んでいるサーバのログ監視をしたいことって、よくあると思います。 今回は、AutoScaling配下のサーバにfluentdを入れてログ収集サーバにて一括で集めて、ログ監視をする場合に気をつけたことをまとめておきます。
ログサーバ側のtd-agent.conf
ログサーバではこんな感じで、td-agent.confを設定しました。
<source> type forward port 24224 bind 0.0.0.0 </source> <match dev.web.log> type copy <store> type file buffer_path /var/log/td-agent/buffer/local_dev.web.log.buf symlink_path /var/log/td-agent/logs_current/dev.web.log path /var/log/td-agent/logs/dev.web.log time_slice_format %Y%m%d time_slice_wait 10m flush_interval 60m flush_at_shutdown true format out_file buffer_chunk_limit 32m </store> </match> <match dev.batch.log> type copy <store> type file buffer_path /var/log/td-agent/buffer/local_dev.batch.log.buf symlink_path /var/log/td-agent/logs_current/dev.batch.log path /var/log/td-agent/logs/dev.batch.log time_slice_format %Y%m%d time_slice_wait 10m flush_interval 60m flush_at_shutdown true format out_file buffer_chunk_limit 32m </store> </match>
以下が、設定のポイントです。
監視するログを固定する
シンボリックリンクを監視するため、ツールによってはリンク切替のタイミングで、ロストする可能性があります。利用する際は検証を必ずお願いします。
監視するログを固定したいですよね。しかし、何も考えずにデフォルトで設定すると、受信したログは以下にようにログが出力されます。
[root@dev logs]# ls -l /var/log/td-agent/logs total 8 -rw-r--r-- 1 td-agent td-agent 230 Apr 27 05:35 dev.web.log.20160427.b53170c7a0af5ab90 -rw-r--r-- 1 td-agent td-agent 115 Apr 27 05:34 dev.web.log.20160427_0.log
カレントのログ名の後ろにはハッシュがつきます。そして、td-agentを再起動したり、一定期間または一定サイズになるとweb.log.201604_0.logのようにアーカイブされます。ログ監視したいので、ログ名を固定したいです。ということで、以下の設定を追加します。
buffer_path /var/log/td-agent/buffer/local_dev.web.log.buf symlink_path /var/log/td-agent/logs_current/dev.web.log
これで、カレントログが固定されます。(厳密にはシンボリックリンク) このログを監視してあげればokです。
[root@dev logs_current]# ls -la lrwxrwxrwx 1 td-agent td-agent 73 Apr 27 05:42 dev.web.log -> /var/log/td-agent/buffer/local_dev.web.log.buf.20160427.b53170e0ad768594a.log
因みにアーカイブログは、pathで指定したパスに出力されます。
アーカイブログを削除する
アーカイブログは放っておくと、無限に貯まります。当たり前ですが。 なので、アーカイブログを出力するフォルダに対して一定期間経過したらログを削除する処理を入れます。 cronで一日一回任意のタイミングで実行します。
[root@dev logs_current]# sudo crontab -u td-agent -l 50 3 * * * tmpwatch -m 72 /var/log/td-agent/logs
送信側のtd-agent.conf
送信側ではこんな感じで、td-agent.confを設定しました。
<source> type tail format none path /opt/td-agent/logs/web.log pos_file /var/log/td-agent/pos/web.log.pos tag dev.web.log </source> <source> type tail format none path /opt/td-agent/logs/batch.log pos_file /var/log/td-agent/pos/batch.log.pos tag dev.batch.log </source> <filter dev.**> @type record_transformer <record> host ${hostname} </record> </filter> <match dev.** > type forward host xx.xx.xx.xx port 24224 expire_dns_cache 0 flush_interval 60s </match>
以下が、設定のポイントです。
posファイルの利用
posファイルを指定し、ログの末尾から読み込むようにします。
pos_file /var/log/td-agent/pos/batch.log.pos
ログの中にホスト名を入れる
エラー検知した場合に、ホスト名がわからないと辛い場面があります。filterを使うことで、ホスト名を入れることができます。
<filter dev.**> @type record_transformer <record> host ${hostname} </record> </filter>
ログサーバ側で受信したログにはこんな感じでhost名が入ります。
[root@dev logs]# cat web.log.20160427_0.log 2016-04-27T05:41:39+00:00 dev.web.log {"message":"15 /opt/td-agent/logs/web.log","host":"dev.web"}
flushのタイミング
ログサーバへログを送る間隔を指定します。 ここは監視要件に合わせる必要がありますが、あまり短くし過ぎるとtd-agentの負荷が高くなるので、今回は60秒としました。
flush_interval 60s
Jinja2でconfファイル作成を効率化する
Fluentd直接関係ないですが、Ansibleを利用しJinja2にてconfファイルを作成するとかなり楽でした。タイポもものすごく減ります。 こちらについては、別のブログで紹介したいと思います。
まとめ
ログ監視という観点で、まとめた記事を見つけられなかったのでまとめてみました。 参考になれば幸いです。この設定入れたほうがいいよ!というものがあれば、是非コメントください!